(網(wǎng)經(jīng)社訊)6月9日消息，小紅書近日開源了首個大模型——dots.llm1。dots.llm1是一個中等規(guī)模的Mixture of Experts（MoE）文本大模型，由小紅書 hi lab（Humane Intelligence Lab，人文智能實驗室）團隊研發(fā)，總參數(shù)量142B，激活參數(shù) 14B。
一、技術(shù)突圍：MoE架構(gòu)與工程創(chuàng)新重構(gòu)成本效率
網(wǎng)經(jīng)社數(shù)字零售臺（DR.100EC.CN）查詢DeepSeek后獲悉，在AI大模型軍備競賽白熱化的當下，小紅書hi lab團隊推出的dots.llm1猶如一匹黑馬，以142B總參數(shù)、14B激活參數(shù)的MoE架構(gòu)，在性能與成本間找到了精妙平衡。這款中等規(guī)模模型采用細粒度混合專家結(jié)構(gòu)，從128個路由專家中動態(tài)選擇前6個，配合2個共享專家，實現(xiàn)參數(shù)激活效率的最大化。在32K超長上下文處理中，其獨創(chuàng)的UtK策略展現(xiàn)出卓越的長文本記憶能力，這得益于對Transformer解碼器架構(gòu)的深度優(yōu)化——用MoE模塊替代傳統(tǒng)前饋網(wǎng)絡，并引入無輔助損失的負載平衡策略，通過動態(tài)調(diào)整偏置項確保專家網(wǎng)絡負載均衡。
工程創(chuàng)新層面，團隊與英偉達合作開發(fā)的交錯式1F1B流水線調(diào)度技術(shù)堪稱典范。該技術(shù)將穩(wěn)態(tài)1F1B階段的首個micro batch前向傳播提前至預熱階段，實現(xiàn)A2A通信與計算的重疊覆蓋，配合優(yōu)化后的分組GEMM算子，在H800GPU上實現(xiàn)前向計算14%、反向計算6.68%的顯著提速。這種硬件協(xié)同優(yōu)化使得模型訓練效率飆升，總訓練成本僅需146萬GPU小時，不到Qwen2.5-72B的1/4，每萬億token訓練成本更是低至13萬GPU小時，重新定義了大規(guī)模模型的性價比標準。
二、數(shù)據(jù)哲學：11.2萬億token煉就的“人文基因”
在數(shù)據(jù)構(gòu)建上，dots.llm1展現(xiàn)出獨特的人文視角。團隊摒棄合成數(shù)據(jù)，深耕11.2萬億高質(zhì)量真實語料，構(gòu)建起三階段數(shù)據(jù)處理框架：第一階段通過URL過濾、trafilatura正文提取、MD5去重等操作，從海量網(wǎng)頁中萃取優(yōu)質(zhì)文本；第二階段引入MinHash-LSH模糊去重和啟發(fā)式過濾，剔除廣告、導航欄等噪聲；第三階段利用15億參數(shù)分類器和網(wǎng)頁雜波去除模型，將知識性內(nèi)容比例提升至60%。這種近乎嚴苛的數(shù)據(jù)清洗，使得處理后的數(shù)據(jù)集在MMLU、TriviaQA等基準測試中表現(xiàn)超越TxT360等開源數(shù)據(jù)集。
更值得關(guān)注的是“AI人文訓練師”團隊的介入。這個由哲學、文學背景專家組成的特殊團隊，與復旦大學哲學學院合作成立“AI人文人才訓練營”，通過指令微調(diào)和拒絕采樣微調(diào)（RFT），為模型注入人文溫度。在倫理思辨測試中，dots.llm1展現(xiàn)出對“電車難題”等哲學命題的深度理解，在人性化表達測試中，其生成的藏頭詩和天氣組件代碼，既保持技術(shù)精準度，又充滿生活氣息。
三、開源革命：MIT協(xié)議下的技術(shù)民主化實踐
小紅書此次開源策略堪稱行業(yè)標桿。除基礎(chǔ)模型外，團隊還開放了每1萬億token訓練節(jié)點的中間檢查點，總計14個模型權(quán)重全部公開。這種“全生命周期”開源模式，為研究者提供了透視大模型學習動態(tài)的珍貴樣本。在GitHub倉庫中，詳細的lr schedule、batch size參數(shù)，以及基于Cybertron框架的完整訓練代碼，讓開發(fā)者可以無縫復現(xiàn)訓練流程。
對比行業(yè)慣例，這種開源力度遠超普通模型發(fā)布。以Qwen2.5系列為例，其僅開放最終模型權(quán)重，而dots.llm1的中間檢查點相當于提供了模型進化的“時間切片”，使自適應繼續(xù)訓練（Continue Pretraining）和監(jiān)督微調(diào)（SFT）成為可能。在Hugging Face社區(qū)，開發(fā)者已利用這些資源展開創(chuàng)新實驗，有團隊嘗試將中間模型移植到邊緣設備，實現(xiàn)低功耗推理。
四、行業(yè)震蕩：開源新勢力的技術(shù)話語權(quán)重構(gòu)
dots.llm1的橫空出世，在AI行業(yè)激起千層浪。在中文基準測試中，其以92.6分稱霸CLUEWSC語義理解榜，C-Eval綜合得分92.2分力壓DeepSeek-V3，MATH500數(shù)學推理達84.8分，展現(xiàn)出“以小搏大”的驚人實力。這種性能優(yōu)勢直接沖擊現(xiàn)有開源格局，迫使頭部玩家重新審視技術(shù)路線。Meta某AI研究員在社交平臺坦言：“當中國團隊用1/4資源達成相當性能，我們該反思Scaling Law的效率邊界?！?/p>
更深遠的影響在于技術(shù)范式的轉(zhuǎn)變。dots.llm1驗證了“優(yōu)質(zhì)數(shù)據(jù)+高效架構(gòu)”可替代“暴力Scaling”的可能性，其未使用合成數(shù)據(jù)的實踐，更暗示著數(shù)據(jù)合成并非唯一出路。在GitHub倉庫中，關(guān)于數(shù)據(jù)處理流程的討論熱度持續(xù)攀升，有開發(fā)者據(jù)此開發(fā)出新型網(wǎng)頁正文提取工具，形成技術(shù)溢出效應。
五、未來演進：從工具到伙伴的人文智能愿景
站在技術(shù)轉(zhuǎn)折點，小紅書hi lab的野心不止于模型開源。團隊正籌建“AI人文實驗室2.0”，計劃將音樂智能、空間智能等多模態(tài)能力融入現(xiàn)有架構(gòu)。在技術(shù)路線圖上，數(shù)據(jù)合成技術(shù)被列為重點探索方向，旨在平衡數(shù)據(jù)質(zhì)量與多樣性。更值得期待的是，基于dots.llm1的垂直領(lǐng)域微調(diào)模型已在路上，教育、醫(yī)療等場景的定制化版本或?qū)⒛陜?nèi)面世。
這場由人文智能驅(qū)動的技術(shù)革命，正在改寫AI與人類的互動方式。當dots.llm1能準確解讀“弱智吧”式腦筋急轉(zhuǎn)彎，當它用藏頭詩訴說打工人的心聲，我們看到的不僅是技術(shù)進步，更是AI向人性化邁進的堅實步伐。在這個意義上，小紅書開源的不只是代碼，更是一個充滿溫度的智能未來。
